Tại nơi ngày nay là Lâu đài Neuschwanstein nguyên đã có hai lâu đài Vorderhohenschwangau và Hinterhohenschwangau. Hai lâu đài này đã đổ nát ngay từ thời Vua Ludwig còn sống. Trước khi bắt đầu xây dựng lâu đài mới, tàn tích của hai lâu đài cũ này đã bị phá hủy hoàn toàn. Vua Ludwig II muốn xây dựng một lâu đài "theo đúng phong cách của một lâu đài hiệp sĩ Đức" như ông đã viết trong một bức thư gửi Richard Wagner vào ngày 15 tháng 5 năm 1868. Thế nhưng cảm hứng của Ludwig II không những chỉ xuất phát từ nước Đức thời Trung cổ mà còn từ thế giới người Moor đã từ Bắc Phi xâm lấn Tây Ban Nha từ năm 711 và thế giới truyện thần thoại của Richard Wagner. Eduard Reidel và Christian Jank đã cung cấp các bản phác thảo cho ông.

Đây là lâu đài cuối cùng do Ludwig II xây dựng và cư ngụ. Lễ đặt viên đá đầu tiên được cử hành vào ngày 5 tháng 9 năm 1869. Khi Vua Ludwig qua đời gần Lâu đài Berg vào ngày 13 tháng 6 năm 1886, Lâu đài Neuschwanstein vẫn còn chưa hoàn thành. Sau 17 năm xây dựng tính đến thời điển đấy, ông chỉ ở trong lâu đài vỏn vẹn có 172 ngày. Chỉ một phần ba các căn phòng trong dự tính là được hoàn thành cho đến thời điểm này. Sau khi Ludwig qua đời, tháp vuông và căn nhà hiệp sĩ được hoàn thành một cách đơn giản hơn. Không được xây dựng là ngôi nhà cầu nguyện như Christian Jank đã phác thảo trong bản vẽ năm 1871.

Ludwig II không bao giờ muốn cho người dân thường vào tham quan lâu đài, ông thà rằng phá hủy lâu đài đi chứ không muốn để cho người dân bình thường làm mất đi tính huyền thoại của nó. Thế nhưng chỉ 6 tuần sau khi ông qua đời, lâu đài đã mở cửa đón chào khách tham quan và ngày nay Lâu đài Neuschwanstein có đến 5.000 du khách hằng ngày trong mùa cao điểm (tháng 6 đến tháng 8).